وقال أيضا رضي اللّه عنه : قيل لي يا عليّ اهبط إلى الناس ينتفعون بك ، فقلت : يا رب أقلني من الناس فلا طاقة لي بمخالفتهم ، فقيل لي : انزل فقد أصحبناك السلامة ، ورفعنا عنك الملامة ، فقلت : يا رب تكلني إلى الناس آكل من دريهماتهم فقيل لي أنفق يا علي وأنا المكلّ ، إن شئت من الجيب ، وإن شئت من الغيب ، قال : فدخل تونس وسكن بمسجد البلاط دارا تفتح للقبلة صحبه بها جماعة من الفضلاء ، منهم الشيخ أبو الحسن علي بن مخلوف الصقلي ، وأبو عبد اللّه الصابؤني وأبو محمد عبد العزيز الزيتوني وخديمه أبو العزائم ماضي من المسروقين ، وأبو عبد اللّه اليجائي الخياط وأبو عبد اللّه الخارجي الخياط ، وكل هؤلاء أصحاب كرامات وبركات ، وأقام بها مدة إلى أن اجتمع إليه خلق كثير ، فسمع به الفقيه أبو القاسم بن البراء وكان في ذلك الوقت قاضي الجماعة فأصابه منهم حسد كثير ، فوجه إليه ليناظره فلم يقدر على التمكن منه ، فقال للسلطان وهو الأمير أبو زكريا إن ههنا رجلا من أهل شاذلة سواق الحمير يدعي الشرف ، وقد اجتمع إليه خلق كثير ، ويدعي أنه الفاطمي ويشوش عليك في بلادك . قال الشيخ رضي اللّه عنه : قلت : يا رب لم سميتني الشاذلي ولست بشاذلة ، فقيل لي : يا علي ما سميتك بالشاذلي ، إنما أنت الشاذّ لي بتشديد الذال المعجمة ، يعني المنفرد لخدمتي ومحبتي . وكان السلطان أبو زكريا رحمه اللّه قد اجتمع بابن البراء وجماعة من الفقهاء في القضية ، وجلس السلطان خلف حجاب ، وحضر الشيخ رضي اللّه عنه وسألوه عن نسبه مرارا والشيخ يجيبهم عليه ، والسلطان يسمع ، وتحدثوا معه في العلوم كلها فأفاض عليهم بعلوم أسكتهم بها ، فما استطاعوا أن يجاوبوه عنها من العلوم الموهوبة ، والشيخ يتكلم معهم بالعلوم المكتسبة ، ويشاركهم فيها ، فقال السلطان لابن البراء هذا رجل من أكابر الأولياء وما لكم به طاقة ، فقال له : واللّه لئن خرج في هذه الساعة ليدخلنّ عليك أهل تونس ويخرجوك من بين أظهرهم ، فإنهم مجتمعون على بابك ، قال : فخرج الفقهاء ومر الشيخ بالجلوس فقال الشيخ لعلي أن يدخل على بعض أصحابي ؛ فدخل عليه بعض أصحابه ، فقال له : يا سيدي الناس يتحدثون في أمرك ويقولون يفعل به كذا وكذا من أنواع الأدب وبكى بين يديه ، فتبسم الشيخ وقال : واللّه لولا أني أتأدب مع الشرع لخرجته من ههنا ومن ههنا وأشار بيده ، فمهما أشار إلى جهة انشق الحائط ، ثم قال له : ائتني بإبريق وسجادتي وسلّم على أصحابي وقل لهم ما نغيب عنكم إلا اليوم خاصة وما نصلي المغرب إلا معكم إن شاء اللّه تعالى ، فأتاه بما أمره فتوضأ وتوجه إلى اللّه سبحانه وتعالى .